|
|
|
|
김화순/Hwa Soon Kim
|
|
Abstract
|
|
|
결 론
본 논문에서는 관찰자 또는 측정자가 측정오류의 주된 요인으로 작용할 수 있는 내용분석
이나 상호작용 연구에서 측정자간 신뢰도의 산출과 해석에 대해 설명하였다. 측정자간 신뢰
도를 산출하는 첫 단계에서 연구자간 분석단위 확인 신뢰도의 산출은 해석적 신뢰도 산출을
위한 전제조건이 될 수 있다. 특히 대상자들의 행위를 확인하기 위해 관찰자들에게 요구되
는 추론의 정도가 클수록 이러한 전제조건은 반드시 충족되어져야 할 것이다.
해석적 신뢰도를 산출하는 단계에서는 kappa가 널리 사용되고 있으나 kappa가 모든 상황
에서 만족하게 사용될 수 있는 지표는 아니다. 특히 관찰자의 편견 개입이 크거나 범주별
상대적 발현 빈도에서 차이가 큰 경우 Cohen's kappa의 사용이 부적절할 수도 있다. 때로
는 kappa의 해석에 주의가 필요하다. 측정자간 신뢰도 검증에 kappa의 사용이 적절하지 못
한 경우 몇가지 대안을 사용할 수 있다. 첫째로는 관찰자의 편견 개입이 큰 경우에는 관찰
자간의 일치도를 산출하는 방법으로 Tetrachoric correlation을 사용할 수 있다. Tetrachoric
correlation은 범주들의 가로 세로 가장자리 합의 일치양상에 의해 크게 영향을 받지 않는다
(Hutchinson, 1993). 둘째로는 범주별 분포(revalence)가 일치도에 미친 영향을 실질적으로
평가하기 위하여 Cicchetti & Feinstein(1990)이 제시한 긍정일치(positive agreement=pros)
와 부정일치(negative agreement=pneg) 지표를 사용할 수도 있다. 마지막으로는 prevalence
에서 차이와 편견개입의 영향을 교정한 prevalence-adjusted, bias-adjusted kappa의 사용을
제안하고 있다(Byrt et al., 1993) 특히 일치도 연구들 간의 의미있는 비교를 위해서는 교정
된 측정치를 함께 보고할 필요가 있다(Byrt et al., 1993). 뿐만 아니라, kappa의 정확한 해
석을 위해서는 kappa와 함께 반드시 일치도(percentage agreement)를 같이 보고하여야 한
다.
대부분의 연구들은 해석적 신뢰도의 산출에서 전체 신뢰도 추정치만을 보고하고 있다. 그
러나 전체 신뢰도(global reliability)는 관찰자가 각각의 범주를 사용함에 있어서 얼마만큼의
일관성을 가졌는지에 대해서는 나타내지 못한다. 그러므로 범주별 신뢰도 추정치를 제시하
여 각 범주를 사용하는데 있어서 관찰자들이 얼마나 일관성을 유지하였는지를 보여줄 필요
가 있다.
판정 결과가 이분적이 아니고 다원적(polytomous)인 명목자료인 경우 범주들의 특성을 고
려하여 편의에 따라 수개의 2분적 조합을 만들어 개개의 kappa 추정치를 제시할 수도 있다
(안 & 유, 1996).
#초록#
In nursing research that the data is collected through clinical observation, analysis of
clinical recording or coding of interpersonal interaction in clinical areas, testing and
reporting interrater reliability is very important to assure reliable results. Procedures for
interrater reliability in these studies should follow two steps. The first step is to
determine unitizing reliability, which is defined as consistency In the identification of
same data elements in the record by two or more raters reviewing the same record.
Unitizing reliability have been rarely reported in previous studios. Unitizing reliability
should be tested before progressing to the next step as precondition.
Next step is to determine Interpretive reliability Cohen's kappa is a preferable method
of calculating the extent of agree mint between observer or Judges because it provides
beyond-chance agreement. Despite its usefulness, kappa can sometimes present
paradoxical conclusions and can be difficult to interpret. These difficulties result from
the feature of kappa which is affected in complex ways by the presence of bias between
observers and by true prevalence of certain categories. Therefore, percentage agreement
should be reported with kappa for adequate interpretation of kappa. The presence of bias
should be assessed using the alas index and the effect of prevalence should be assessed
using the prevalence index.
Researchers have been reported only global reliability reflecting the extent to which
coders can consistently use the whole coding system across all categories.
Category-by-category reliability also need to be reported to inform the possibility that
some categories are harder to use than others.
|
|
|
|
|
|
KeyWords
|
|
내용분석, 예비적 정보, 측정자간 신뢰도, Cohen's kappa, Content Analysis, Preparatory Information, Interrater Reliability, Cohen's kappa,
|
|
|
원문 및 링크아웃 정보
|
|
|
|
|
등재저널 정보
|
|
 
|
|
|
|
|